H100 GPU 有什麼功能?

圖 3 所示為具有 144 個 SM 的完整 GH100 GPU。 H100 SXM5 GPU 有 132 個 SM，PCIe 版本有 114 個 SM。 H100 GPU 主要用於為 AI、HPC 和資料分析執行資料中心和邊緣運算工作負載，但是不包括圖形處理。 在 SXM5 和 PCIe H100 GPU 中只有兩個 TPC 具備圖形功能（也就是說，它們可以執行頂點、幾何及像素著色器）。 H100 SM 是以 NVIDIA A100 Tensor 核心 GPU SM 架構為基礎，因為導入 FP8，而使 A100 峰值每 SM 浮點的運算能力提升四倍，並使在所有先前之 Tensor 核心、FP32 和 FP64 資料類型上的 A100 原始 SM 運算能力加倍，時脈對時脈。

Nvidia H100 Tensor 核心 GPU 提供什麼樣的效能?

為所有資料中心提供前所未有的效能、可擴充性和安全性。 利用 NVIDIA H100 Tensor 核心 GPU，提供所有工作負載前所未有的效能、可擴充性和安全性。 使用 NVIDIA ® NVLink ® Switch 系統，最高可連接 256 個 H100 來加速百萬兆級工作負載，此外還有專用的 Transformer Engine，可解決一兆參數語言模型。

dgx H100 是什麼?

DGX SuperPOD 中的 DGX H100 節點和 H100 GPU 透過 NVLink 交換器系統及 NVIDIA Quantum-2 InfiniBand 互連，提供每秒總計 70TB 的頻寬，比上一代產品高出 11 倍。 NVIDIA 合作夥伴提供的儲存裝置將經過測試和認證，以滿足 DGX SuperPOD AI 運算的需求。

H100 與 PCIe Gen5 之間互連的 Nvidia Grace CPU 有何不同?

H100 與採用超快速 NVIDIA 晶片之間互連的 NVIDIA Grace CPU 搭配，提供 900 GB/s 的總頻寬，較 PCIe Gen5 快 7 倍。 此創新設計提供比現今最快之伺服器高 30 倍的總頻寬，並為使用數 TB 資料的應用程式提供高達 10 倍的效能。 新的 串流多處理器 （streaming multiprocessor，SM）改進了許多效能和效率。 主要的新特色包括： 新的 第四代 Tensor 核心 之晶片間的速度比 A100 快 6 倍，包括每 SM 加速、SM 數量更多以及 H100 的時脈更高。